主要看词源。罗曼语词源基本用in-，而日耳曼词源基本用un-。

---------------------------------------------------------------------------------------

两者都是来自于原始印欧语（Proto-Indo-European Language）拟构的否定前缀n̥-，只是在后续的发展中，拉丁语和原始日耳曼语（Proto-Germanic Language）的进化不一样，前者变成了in-，后者变成了un-。因此，来自于拉丁语及其子语言（如法语）的单词，基本用in-以及相应的变体（im-/il-/ir-等等）表反义，比如impossible/illegal/irresponsible；而继承自日耳曼的单词，基本用un-，比如unhappy。并且这个前缀是不用于动词的（意思是它否定意义的帽子是套在名词性或形容词性词根上的，至于在已经带了in-的名词、形容词上再加上-ate/-ize等动词后缀的单词如illegalize，属于后续派生，不在这个讨论范围内。想表达的意思就是，illegalize是illegal的动词化，而不是legalize的反义，in-只能加在legal这种形容词的前面）

但是！但是！上面只是“基本”，还有很多例外，原因在于英语作为一个日耳曼语族的后代，虽然吸收了大量拉丁语及后代罗曼诸语的词汇，它的最基础的骨架仍然是日耳曼式的，比如过去式用-ed，过去分词用-ed/-en，反义前缀un-也是用得非常普遍。而在语言发展的过程中，un-不可避免地污染到了拉丁系的词汇，比如uneducated/uncertain。英语就是这么任性……

只能根据个人感觉说，拉丁系的单词，用in-表反义的时候意思可能有微妙的变化，相当于是一个新的单词，而且仅限于前缀、词根、后缀全都是拉丁系；而用un-表反义的时候，就相当于简单地在前面加了个not，而且适用的单词非常广泛，比如拉丁词根带-ed/-ing的形容词只能用un-表反义，例子仍是前面的uneducated。

---------------------------------------------------------------------------------------

另一个答案中的un-用于动词的解释，在语义上也是否定，但是在词源上跟之前说的不一样，用于表示相反动作（补集）的un-，实际是来自于原始日耳曼语的anda-/andi-，比如unlock/unpack/unbuckle等等。这种用法仅限于动词及其派生形式。

总结起来就是：首先，反义前缀是套在词义上的，有的时候套在词根上，有的时候套在派生词上，这个需要注意；其次，日耳曼式的单词只用un-表反义；拉丁式的单词多数用in-，少数用un-，-ed/-ing等日耳曼风格派生的单词用un-；所有动词需要反义的时候用un-（注意是套在动词上的时候，不包括反义词派生出的动词）。